Linux CentOS7下多机器集群安装Elasticsearch记录
部署机器主机名(hostname) IP 版本 master 192.168.0.112 CentOS Linux release 7.9.2009 (Core) node 192.168.0.113 CentOS Linux release 7.9.2009 (Core
如何在工作中提高pandas运行速率？【超实用方法整理】
几种提升pandas运行速率的实用方法。
六十五、Spark-综合案例(搜狗搜索日志分析)
业务逻辑：针对SougoQ用户查询日志数据中不同字段，使用SparkContext读取日志数据，封装到RDD数据集中，调用Transformation函数和Action函数进行处理不同业务统计分析...
六十四、Spark-分别统计各个单词个数及特殊字符总个数
广播变量（Broadcast Variables）：广播变量用来把变量在所有节点的内存之间进行共享，在每个机器上缓存一个只读的变量，而不是为机器上的每个任务都生成一个副本，简单理解：减少内存，减小计算压力;
数分-理论-大数据7-Spark
数分-理论-大数据7-Spark（大数据框架）(数据分析系列)文章目录数分-理论-大数据7-Spark（大数据框架）1知识点2具体内容2.1概述2.1.1起源2.1.2诞生2.1.3Spark与Hadoop、MapReduce、HDFS的关系2.1.4生态体系2.2编程模型-核心2.2.1RDD概述
六十三、Spark-读取数据并写入数据库
需求说明：使用Spark流式计算 将数据写入MySQL，并读取数据库信息进行打印
02环境搭建
02环境搭建
spark技术学习与思考（sparkcore&sparksql）
Spark 产生之前，已经有 MapReduce 这类非常成熟的并行计算框架存在了，并提供了高层次的API(map/reduce)，它在集群上进行计算并提供容错能力，从而实现分布式计算。所以为什么 spark 会流行呢？
大数据Java基础DAY11（抽象类，接口）
抽象类抽象类概述在Java中，一个没有方法体的方法应该定义为抽象方法，而类中如果有抽象方法，该类必须定义为抽象类。抽象类特点a.抽象类和抽象方法必须用abstract关键字修饰格式: abstract class 类名 {} public abstract void eat(); （抽象
分拆计划陷入困境，英特尔还能重回巅峰吗?
据外媒报道，英特尔即将于2022年1月26日发布第四季度财报。但在这之前，关于英特尔的消息似乎已被另一家公司的财报所透露，这家公司就是台积电。
大数据之Redis单节点安装教程
Redis安装教程下载RedisRedis下载点击上方链接，即可进入Redis下载页面，这里我们选择安装最新版 Redis 6.2.6使用Xftp上传Redis压缩包在/usr/local目录下新建一个存放软件安装的目录moudlecd /usr/localmkdir moudle解压将Redis解
【2022持续更新】大数据面试题整理-数据仓库篇
导语本专栏博文会整理日常工作与面试中最常用到的大数据相关组件与Java语言的架构、概念、知识点，方便大家进行查阅。涉及到的面试题以及答案均为博主搜罗整理，并加上自己的理解编写而成。同时博主会在部分题目的下方添加管遇此题深入理解的博文连接，方便读者的深入理解。希望大家可以通过此篇博文对于大数据相关概念
大数据技术SpringBoot框架---实现前后端分离(MVC)对数据进行可视化
Spring Boot1、什么是Spring Boot Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。通过这种方式，Spring Boot致
3分钟搞懂中台
文章目录什么是数据中台？背景作用定义中台类型有哪些？业务数据双中台技术中台研发中台移动中台管理中台组织中台企业为什么要建中台？需求变了匹配失衡鱼和熊掌成功的中台推荐阿里数据中台网易业务中台百度AI 中台……最后什么是数据中台？背景2015年全年产生的数据量等于历史上所有人类产生数据的总和，人类的数据
Elastic换帅，Kunlkarni接替Banon成为新任CEO
Elastic换帅！Ashutosh Kulkarni成为新一代领袖
大数据技术使用java实现MapReduce对文件进行切分，分类汇总
大数据技术使用java实现MapReduce对文件进行切分，分类汇总
Hadoop——MapReduce（3）
MapReduce：自己处理业务相关代码 + 自身的默认代码文章目录1.MapReduce优缺点2.MapReduce进程3.序列化4 InputFormat数据输入4.1 切片与MapTask并行度决定机制4.2 Job提交流程源码详解4.3 FileInputFormat 切片机制4.4 Fil
实时数仓中维度数据为什么采用HBase?
为什么不使用Redis?维度中user用户维度数据量大。为什么不适用MySQL?并发压力太大了，因为MySQL中的表本来就和用户打交道，响应用户请求，增删改查，再用它去查维度数据就没必要。初次之外还可以选择ES，这主要取决于实际场景或者架构师跟喜欢哪一种。...
HadoopHA 搭建
1.准备三台机器 centos7安装步骤 略（ 可以看我的 虚拟机安装 centos7 文章）2.配置免秘钥访问略（可以看我的免秘钥配置文章）3.JKD 安装1.8略4.Hadoop官网下载3.1.2网址 http://hadoop.apache.org/https://archive.apache
[NewLife.XCode]实体队列（多线程生产的大数据集中保存）
Python微信订餐小程序课程视频https://edu.csdn.net/course/detail/36074Python实战量化交易理财系统https://edu.csdn.net/course/detail/35475阅读目录什么是实体队列如何使用实体队列提升吞吐系列教程NewLife.XC
